Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach
面向数据异质的隐私保护联邦提示微调：子空间分解专家方法
🧭 联邦学习 · 子空间分解 · 多专家提示
Beihang University · Renmin University of China · Beijing Jiaotong University
用子空间分解建模多专家提示，以低秩因子通信替代全量专家，在差分隐私下平衡个性化与泛化
📌 工作参考价值（4 点）
- 联邦多场景推荐中的参数低秩解耦：可将全局共享基础表示与私有残差分离，通信仅传递低秩因子，减少隐私噪声，适合跨商家数据协同训练，例如用户偏好共享底座+店铺私有调整。
- 动态专家路由用于多域推荐融合：Instance-aware Expert Fusion 的思路可应用于多场景推荐系统，在服务端缓存各领域 logits，客户端轻量路由实时融合，降低推理延迟。
- 隐私约束下的多任务 LoRA 合并：将多个 LoRA 专家表示为共享低秩空间+私有残差，可在不暴露原始参数下进行安全聚合，适合联邦 fine-tuning 场景。
- 通信效率与效用平衡的工程灵感：通过固定公共基底避免每轮传输全量专家，对带宽敏感的边缘推荐模型部署有直接参考价值。